强化学习 · 第一章 · 专题动画

从一次选择
到一整套策略

序贯决策(一连串前后相连的决策)的难点不在单步,而在每一步都会改写下一步的局面(状态)。马尔可夫决策过程(MDP),把这件麻烦事写成五个符号。

① 序贯决策 ② 马尔可夫链 ③ 马尔可夫性 ④ MDP 五元组 ⑤ 交互闭环
MDP
S · A · P · R · γ
把一整串选择写成五个符号
单步
只做一次决定
只看即时奖励
奖励
环境给的打分
做得好加分,做得差扣分
棋盘上

每走一步,局面就变了。

下一步能怎么走,取决于这一步留下的棋盘;
所以不能把每一步拆开单独看。

只看即时奖励 → 看整条轨迹的期望折扣回报
白话 轨迹:一路走过的状态和动作 回报:一路奖励的总和 折扣:越远的奖励打折越多 期望:多次尝试的平均
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
02 · 为什么需要序贯决策

单步最优化,解决不了明天的问题

单步决策 one-shot

决策次数一次
影响范围只影响当下收益
评价标准即时奖励
典型问题分类、最优化
VS
长期

序贯决策 sequential

决策次数多步、连续
影响范围当下收益 + 未来状态
评价标准整条轨迹的回报
典型问题动态规划、强化学习
白话 策略:遇到什么状态、选什么动作的规则 贪心:每一步只挑眼前奖励最大的动作
1
即时与未来的权衡
当下奖励低,却可能把系统带进高回报区域;贪心选即时最大,往往不是最优策略。
2
不确定性与随机性
同样的动作,可能落到不同状态;决策要评估期望效果,不是确定性效果。
3
信用的时间分配
奖励延迟出现,最终的好结果该归功于哪一步?贝尔曼方程与 TD(时序差分)正是为它而生。
4
策略的闭环性
策略是“状态 → 动作”的映射,不是固定动作序列;要按实际到达的状态动态调整。
四个挑战指向同一件事:需要一个能同时描述状态、动作、随机性与长期回报的统一框架。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
03 · 让问题可计算

把状态与概率,画成一张会走路的图

自环表示留在原状态,对应转移矩阵对角线上的值。
白话 马尔可夫链:系统按概率在几个状态间自己跳 归一化:每行概率加起来等于 1

转移矩阵 P 行和 = 1

平段高峰尖峰行和
平段0.40.601.0
高峰0.20.30.51.0
尖峰00.30.71.0
第 i 行第 j 列 = 从状态 i 跳到状态 j 的概率;每一行都必须归一化。
链没有动作:只能观察它怎么演化,不能推它一把。
链也没有奖励:能描述“会怎样”,不能评价“好不好”。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
04 · 一条关键假设

未来只依赖现在,与更早的历史无关

P(st+1 | st, at, st−1, at−1, …) = P(st+1 | st, at) 给定现在,过去的所有细节都可以被丢掉。 读法:“|” = 在已知……的条件下;下标 t = 第 t 步,t+1 = 下一步;a = 动作(下一节 MDP 用到)

历史被“折”成了一个点

s₀ a₀ s₁ a₁ s₂ a₂ ✂ st → st+1
联合分布被拆成“一步一项”
P(s₀,a₀,s₁,a₁,…) = P(s₀) · ∏t [ π(at|st) · P(st+1|st,at) ]
联合分布 = 整条轨迹恰好这样发生的概率。∏ = 每一步连乘;π = 策略,第 06 幕细讲。
当前状态 st 是历史的充分统计量:它包含了预测未来所需的全部信息,把长长的过去压缩成一个点。 一份够用的摘要:天气预报可作类比,但真实预测未必只需今天的云图。
例
只看位置不够:还要知道速度,才知道下一步会往哪走。
衡
状态太小,马尔可夫性不成立;状态太大,维度爆炸。要在表达力与可学习性之间取平衡。 维度爆炸 = 要记的组合多到学不过来
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
04 · 补充:四个误区

马尔可夫性,最容易被误读成这四句话

常见误区正误正确理解
①马尔可夫性 = 未来与过去完全无关 错 未来与过去通过当前状态间接相关:条件是“给定现在”,过去不再提供额外信息。这是条件独立,不是统计独立。
②马尔可夫性 = 过程确定性 错 它只约束依赖结构,不约束随机性:转移完全可以按概率发生,只要该概率只依赖当前状态。
③状态怎么选都满足马尔可夫性 错 它强烈依赖状态的定义:只记“当前位置”不记“速度”,物理系统的下一步就无法仅由当前位置决定。
④真实系统大多不满足,所以理论没用 错 是否满足取决于状态表示与系统规律;把遗漏的必要信息编进状态,可构造满足或近似满足的模型,理论仍有用。
统计独立(马尔可夫性没这么说)
P(未来 | 过去) = P(未来)
未来和过去彻底无关——这等于把“现在”这条通道也一起否掉了。
条件独立(马尔可夫性说的就是这个)
P(未来 | 现在, 过去) = P(未来 | 现在)
给定现在之后,过去不再多给信息——现在这条通道保留着。
一句话记:马尔可夫性说的是“现在够用了”,不是“过去没关系”。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
04 · 补充:四种检验

状态够不够,用这四步查一遍

①
状态设计充分
确保状态包含所有影响未来转移与奖励的当前信息:速度、加速度、剩余时间等,而不是用历史窗口兜底。
②
经验检验
固定当前状态与动作,再加入历史;若下一状态或奖励的预测显著改变,说明状态可能不充分。
③
模型诊断
对比 P(s′|s,a) 与 P(s′|s,a,历史);在独立数据上检验差异,避免把拟合噪声当作历史影响。
④
升级模型
若真实状态只能部分观测,用 POMDP;模型已知时,用历史更新信念状态,在信念空间决策。
经典反例:只记录位置,不记录速度
假设小球匀速运动:下一位置 = 当前位置 + 速度 × 时间间隔。同一位置、不同速度,下一步落点不同。
✗状态 = 位置:同一位置,v = 1 与 v = 5 的下一步落点不同
✓状态 = (位置, 速度):在上述匀速模型中,给定这对值就能预测下一步
马尔可夫性不是系统的固有属性,而是“状态表示 + 系统”共同具有的性质。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 问题的形式化

MDP 用五个符号,定义一个决策问题

MDPM = ⟨ S, A, P, R, γ ⟩ 状态空间 · 动作空间 · 转移概率 · 奖励函数 · 折扣因子
S
状态集合
系统可能处于的全部状态
A
动作集合
智能体可以选择的全部动作
P
转移概率
动作如何改变下一个状态
R
奖励函数
一步之后拿到的即时反馈
γ
折扣因子
未来奖励的折现率,0 ≤ γ < 1
转移:世界怎么变
P(s′ | s, a) = Pr{ st+1 = s′ | st = s, at = a }
给定了当前状态和动作,下一个状态的概率分布。同一个动作,也可能落到不同状态。 s′ 读作“s 撇”= 下一个状态;Pr = 概率;{ } 里是要算概率的事
奖励:什么算好
R(s, a) = E[ rt | st = s, at = a ]
在状态 s 执行动作 a 的期望即时奖励。奖励定义目标,也决定了策略会学成什么样。 E = 期望,即多次尝试取平均;R = 平均能拿多少奖励
γ 的作用:未来奖励按 γt 打折;奖励有界且 γ < 1 时,无限折扣回报有界。 有界 = 打过折的奖励加到无穷也不会无穷大,不同策略才比得出高下
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 五元组算例

两个状态、三个动作,把五元组填满

① 集合 S 与 A
S s₁ 电量低,s₂ 电量足
A a₁ 充电,a₂ 放电,a₃ 待机
a₁ 充电把电补上去,可能充上,也可能白等
a₂ 放电干活换奖励,很费电
a₃ 待机什么都不做,只损失一点时间
状态是世界的样子,动作是智能体能做的事。
② P:每个动作一个矩阵
P( · | s, a₁)
s′低s′足 s低0.20.8 s足0.10.9
P( · | s, a₂)
s′低s′足 s低1.000.00 s足0.30.7
P( · | s, a₃)
s′低s′足 s低1.000.00 s足0.050.95
行 = 当前 s,列 = 下一状态 s′,每行和 = 1;
电量低时放电、待机都不会充电,不可能变足,所以 a₂ / a₃ 的首行是 1.00 / 0.00;a₁ 首行的 0.8 / 0.2 下一幕直接用。
③ R:奖励只看下一状态
a₁ 充电充上 +1 没充上 0 a₂ 放电余电够 +1 电见底 −2(任务中断) a₃ 待机不论结果 −0.1(时间成本)
0.3 × (−2) + 0.7 × (+1) = +0.1
+0.1 的含义:电量足的时候反复“放电”——
三成耗到低、任务中断亏 2,七成还有余电赚 1,平均就是 +0.1。
对照:R(低, 放电) = 1.00×(−2) = −2(一定耗到底)
R(低, 充电) = 0.8×(+1) + 0.2×0 = +0.8
④ R 全表:每个格子都是一个平均值
a₁ 充电a₂ 放电a₃ 待机
s₁ 低+0.8−2−0.1
s₂ 足+0.9+0.1−0.1
同一个“放电”:低电量平均 −2(一定耗到底),足电量平均 +0.1——动作好不好,要看当前状态。
⑤ γ = 0.9
今天 1.0 → 1 步后 0.9 → 2 步后 0.81
越远的奖励,权重越小
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 补充:组成要素

建模五要素,加上求解时的三个对象

对象符号含义建模要点
状态s ∈ S环境在某一时刻的描述 必须满足(或近似满足)马尔可夫性;可离散可连续
动作a ∈ A智能体可采取的行为 动作空间可随状态变化,如 SOC 到顶时禁止充电
转移P(s′|s,a)动作之后的状态分布 体现环境不确定性;每个 (s,a) 的行和为 1
奖励R(s,a)即时反馈的期望 标量、可正可负;奖励设计直接决定智能体学什么
折扣γ ∈ [0,1]未来奖励的折现率 奖励有界且 γ < 1 时,折扣回报有界;γ 越大越重视长期
策略π(a|s)状态到动作的决策规则 求解目标就是找到最优策略 π*
回报Gt折扣累积奖励 是个随机变量;价值函数是它的期望
价值V、Q策略的期望回报 评价策略、指导改进;已知 Q 可比较动作;仅有 V,通常还需模型推算动作价值
ρ₀(s) 初始状态分布
开局从哪个状态开始
时域
有限时域有终止,无限时域持续交互
观测模型
完全可观测是 MDP,部分可观测是 POMDP
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 补充:网格世界

4×4 网格:五个要素怎么落到具体问题上

场景:机器人从起点出发去目标格,途中要绕开陷阱;每一步只能上下左右走一格。
s₁起点
s₂
s₃
s₄
s₅
s₆陷阱
s₇
s₈
s₉
s₁₀
s₁₁陷阱
s₁₂
s₁₃
s₁₄
s₁₅
s₁₆目标
起点目标 +1陷阱 −1
要素在这个网格世界里是什么
状态 s 机器人所在的格子编号:共 16 个离散状态
动作 a 上、下、左、右,共 4 个动作
转移 P 0.8 按预期走,0.1 向左侧滑,0.1 向右侧滑;越界留原格
奖励 R 进入目标 +1 / 陷阱 −1 并结束;其余 −0.01(不叠加)
折扣 γ 取 0.9:10 步之后影响衰减到 0.910 ≈ 0.35
目标:从起点 s₁ 出发,寻找期望折扣回报最大的策略 π(a|s)。下一页先手算两条实际轨迹;策略价值还要对打滑产生的全部分支取期望。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 补充:算一笔账

两条实际轨迹:一步步算出折扣回报

只算已实现的轨迹,并未忽略环境打滑;本页不对其他分支取平均。
动作从 t=0 编号,奖励记为 rt;G₀ = r₀ + γr₁ + … + γT−1rT−1,T = 实际移动次数,第一次奖励不打折。
终点奖励替代成本,进入即结束
普通步(非终点)−0.01
到达目标+1
掉进陷阱−1
折扣因子γ = 0.9
s₁起点
s₂
s₃
s₄
s₅
s₆陷阱
s₇
s₈
s₉
s₁₀
s₁₁陷阱
s₁₂
s₁₃
s₁₄
s₁₅
s₁₆目标
起点目标 +1陷阱 −1
① 进入陷阱2 步
s₁ → s₅ → s₆(下 1 格、右 1 格)
普通步r₀ = −0.01(只 1 步)−0.010000
终点折扣γr₁ = 0.9 × (−1)−0.900000
G₀ = −0.01 + 0.9 × (−1)−0.910
② 到达目标6 步
s₁ → s₅ → s₉ → s₁₃ → s₁₄ → s₁₅ → s₁₆
前 5 步−0.01 × (1 + 0.9 + … + 0.9⁴)−0.040951
终点折扣0.9⁵ × (+1)+0.590490
G₀ = −0.040951 + 0.590490≈ +0.550
本次对比:0.549539 − (−0.910000) = 1.459539 ≈ 1.460。
注意:这是两条轨迹的回报差,不证明策略最优;策略价值须把打滑的所有可能分支也算进去,再取期望。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 补充:建模检查表

拿到现实问题,先按这六问过一遍

用途:检查状态、任务目标和求解设定是否合理;六问不是判定 MDP 的充要条件,随机转移仍可以是 MDP。
检查问题未明确时的风险常见补救
①状态是否包含影响未来的全部信息? 固定 (s,a) 后,历史仍改变下一状态或奖励的分布 补状态:速度、荷电状态(SOC)、剩余时间;部分观测用 POMDP
②动作是否真的影响转移或奖励? 若转移和奖励均与动作无关,决策无从改善结果 核对是否有可控动作;仅奖励随动作变,可用 bandit
③奖励是否与最终目标一致? 智能体会优化奖励,而不是优化你真正想要的东西 重新设计奖励;检查代理指标与真实目标是否错位
④折扣因子是否匹配决策周期? γ 太小会短视,γ 太大会让信用分配跨度太长 按“有效视野” 1/(1−γ) 选择;必要时用平均奖励
⑤时域与终止条件是否明确? 终止条件不清,回报可能无界 明确时域;无限折扣须奖励有界、γ < 1,或用平均奖励
⑥安全 / 资源约束是否已识别? 单纯最大化回报可能违反硬约束 约束 MDP、动作屏蔽或安全层;惩罚不保证硬安全
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
05 · 补充:模型边界

区分模型假设、优化目标与求解方法

维度本讲常用设定变化后如何处理
可观测性智能体看到真实状态 sPOMDP:用信念状态 b(s) 决策
智能体数量单智能体马尔可夫博弈 / 多智能体 RL
环境稳定性P、R 不随时间变化(时齐)非平稳 MDP、在线适应
风险态度最大化期望回报(风险中性)CVaR、风险敏感 MDP、约束 MDP
状态/动作空间算例有限、可枚举;MDP 也可以连续连续控制常用函数逼近;仍属于 MDP
时域有限时域或无限时域折扣长期可用平均奖励;动作持续时间变化时用 SMDP
奖励设计的三个硬提醒
  1. ①奖励须与任务一致:标准目标是最大化期望回报,不等于自动理解任务;实际训练也未必找到最优解。
  2. ②稀疏奖励难学:到达目标才给 +1,早期几乎没有学习信号,需要课程学习、奖励塑形或探索机制。
  3. ③随意塑形可能改变最优策略:随意加中间奖励,可能让智能体停在中间状态;除非塑形项设计成不影响最优策略。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
06 · 把五元组跑起来

一个闭环:智能体与环境互相塑造

策略 π(智能体侧) 看到状态,输出动作的概率分布;学习改的就是它。
P、R(环境侧) 动作进来,新状态与奖励出去;智能体通常并不知道。
学习循环 试错 → 观察回报 → 更新策略 → 再试错,一轮轮逼近更优。
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
06 · 闭环算例

跑一步:状态 → 抽动作 → 抽结果 → 新状态

第一次抽奖:策略 π 的转盘充电 0.6、放电 0.3、待机 0.1。指针落进哪块,就选哪个动作。
第二次抽奖:环境 P 的转盘0.8 的区域 = 充电成功(r=+1、电量足),0.2 的区域 = 没充上(r=0、仍低)。
一步反馈的示意更新(非完整算法)
概率 π奖励 R
a₁ 充电0.6×+0.8=+0.48
a₂ 放电0.3×−2=−0.60
a₃ 待机0.1×−0.1=−0.01
一步平均(三项相加)−0.13
π(a₁ | s₁) 0.6 → 0.7
这次 +1 > 一步平均 −0.13:示意上调充电概率;一步反馈不等于长期价值。
剩下的 0.1 从放电匀过来:放电 0.3 → 0.2,待机还是 0.1,三个数仍和为 1。
环境规律:未知,但可学
P、R:本例中智能体事先未知
这一轮只观测到:r = +1,s₂ 电量足
表中 R 是教学已知值,实际需采样估计
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
07 · 加了什么

加上动作与奖励,链就变成了 MDP

马尔可夫链
只有状态与转移,描述世界如何自己演化。
P(s′ | s)
→
+ 动作 A + 奖励 R + 折扣 γ
→
马尔可夫决策过程
世界可以被影响,结果可以被评价。
P(s′ | s, a) · R(s, a)

MDP 问题

  • 把序贯决策写成五元组 ⟨S, A, P, R, γ⟩
  • 定义什么叫最优:最大期望折扣回报
  • 它是形式化,不是某一种算法

强化学习 解法家族

  • 不知道 P、R 时,靠交互采样去估计
  • 动态规划 · 蒙特卡洛 · 时序差分
  • 同一个 MDP,可以有多条求解路径
同一个 MDP,不同解法:有模型(已知 P、R)时用动态规划精确求解;无模型(P、R 未知)时用采样逼近,例如 Q-learning。 这些方法名先记住,后面章节逐个展开
① 序贯决策›② 马尔可夫链›③ 马尔可夫性›④ MDP 五元组›⑤ 交互闭环
08 · 三句话带走

第一章,其实只讲了三件事

1
为什么需要序贯决策
每一步都会改写下一步的状态,所以要评价整条轨迹的期望折扣回报,而不是即时奖励。
2
马尔可夫性如何简化问题
给定现在,未来与更早的历史无关;当前状态是历史的充分统计量,问题从一条长历史变成一个点。
3
MDP 如何定义强化学习问题
五元组 ⟨S, A, P, R, γ⟩ 把目标与规律写清楚;MDP 是问题,RL 是解法。
序贯决策 → 马尔可夫链 → 马尔可夫性 → MDP 五元组 → 交互闭环 → 交给 RL 求解
下一章 · 回报、价值与贝尔曼方程
片尾 · 出品说明
朝露记
强化学习 · 第一章 · 专题动画
朝露记出品
内容梳理 讲解配音 动画编排
第一章 · 完 下一章 · 回报、价值与贝尔曼方程
解
00:00 / 32:40
空格 播放/暂停 ← → 切幕 R 重播 1–9 跳转